情報をデジタル記録するデジタルペンおよび方法

专利摘要:
パターン形成された面の画像を取り込む少なくとも１つのセンサと、少なくとも１つのセンサによって画像が取り込まれる時にパターン形成された面を照明する少なくとも１つの光源とをもつ光学系が、デジタルペンに設けられる。デジタルペンが光沢面で使用される時に鏡面反射光によってセンサが盲目状態になる場合がある、という問題を解決するために、光学系は、少なくとも１つのセンサと少なくとも１つの光源との異なる幾何学的配置で画像が取り込まれる少なくとも２つの画像取り込み状態の間で調整可能である。補足または代替となる方法として、デジタルペンは、第１の偏光方向を有する直線偏光でパターン形成された面を照明し、かつ異なる第２の偏光方向を有する直線偏光子が画像センサの前にさらに設けられてよく、これによって、鏡面反射光がセンサに到達するのを防ぐ。
公开号:JP2011511347A
申请号:JP2010544274
申请日:2009-01-27
公开日:2011-04-07
发明作者:エリクソン，ペッター；クレイブン−バートル，トーマス
申请人:アノト アクティエボラーク；
IPC主号:G06F3-042

专利说明:

[0001] 本発明は、パターン形成された面を用いて情報をデジタル記録するデジタルペンおよび方法に関する。]
背景技術

[0002] 表面上に形成されたペンストロークを、ペンストロークが形成される間に表面の画像を取り込むデジタルペンによってデジタル的に記録することが知られている。ペンストロークをデジタル記録できるようにするため、表面には、取り込まれた画像の内容を用いて表面上におけるデジタルペンの相対位置または絶対位置を求められるようにするパターンが設けられる。]
[0003] 絶対位置符号化パターン上で動作するデジタルペンの一例が、国際公開第０１／２６０３２号に開示されている。このペンは、表面を照明する発光ダイオードと、表面を撮像する光学センサと、画像から位置を復号する処理部とを備える。]
[0004] コート紙またはホワイトボードのような光沢またはつやのある表面でデジタルペンが用いられる時には、画像によっては、輝度が高すぎてパターンを見分けることが困難、あるいは不可能にさえなる場合があるため、時として復号の問題が起こることが確認されている。]
先行技術

[0005] 国際公開第０１／２６０３２号]
[0006] 上記の復号の問題は、請求項１に係るデジタルペン、請求項９に係るデジタルペン、および請求項１２に係る方法によって、少なくとも部分的に解決され得る。]
[0007] 本発明の第１の態様によれば、パターン形成された面を用いて情報をデジタル記録するデジタルペンであって、デジタルペンがパターン形成された面上で動作させられる間にパターン形成された面の画像を取り込む少なくとも１つのセンサと、少なくとも１つのセンサによって画像が取り込まれる時にパターン形成された面を照明する少なくとも１つの光源とをもつ光学系を備え、光学系が、少なくとも１つのセンサと少なくとも１つの光源との異なる幾何学的配置で画像が取り込まれる少なくとも２つの画像取り込み状態の間で調整可能であるデジタルペンが提供される。]
[0008] 第２の態様によれば、パターン形成された面を用いて情報をデジタル記録するデジタルペンであって、デジタルペンがパターン形成された面上で動作させられる間にパターン形成された面の画像を取り込む少なくとも１つのセンサと、少なくとも１つのセンサによって画像が取り込まれる時にパターン形成された面を照明する少なくとも１つの光源とをもつ光学系を備え、デジタルペンが、第１の偏光方向を有する直線偏光でパターン形成された面を照明するように構成され、異なる第２の偏光方向を有する直線偏光子が、少なくとも１つの画像センサの前に設けられるデジタルペンが提供される。]
[0009] 第３の態様によれば、パターン形成された面とデジタルペンとを用いて情報をデジタル記録する方法であって、デジタルペンが、デジタルペンがパターン形成された面上で動作させられる間にパターン形成された面の画像を取り込む少なくとも１つのセンサと、少なくとも１つのセンサによって画像が取り込まれる時にパターン形成された面を照明する少なくとも１つの光源とをもつ光学系を備え、方法が、少なくとも１つの光源と少なくとも１つのセンサとの第１の幾何学的配置を用いて第１の画像取り込み状態で第１の画像を取り込み、少なくとも１つの光源と少なくとも１つのセンサとの第２の幾何学的配置を用いて第２の画像取り込み状態で第２の画像を取り込むことを含む方法が提供される。]
[0010] 本発明は、光沢面または平滑面において時として現れる復号の問題は鏡面反射光に起因する、という理解に基づく。鏡面反射光は、ペンの向きにより画像センサに到達して画像の一部または全画像を支配し、表面上のパターンを見分けるのを困難にしてしまうのである。]
[0011] この問題は、少なくとも２つの画像取り込み状態をもつ光学系をペンに備えることによって解決できる。これらの状態は、選択的に有効化され得るものであり、これらの状態においては、少なくとも１つのセンサと少なくとも１つの光源との異なる幾何学的配置で画像が取り込まれる。デジタルペンは、例えば、互いに離れて配置された選択的に使用され得る２つの光源を有してよい。異なる幾何学的配置により、鏡面反射光に関する問題は、異なる画像取り込み状態においては異なるペンの向きで起こる。従って、光学系を制御して鏡面反射に関する問題を低減することができる。]
[0012] 光源からの光が第１の方向に直線偏光されている場合は、異なる第２の偏光方向を有する直線偏光子を画像センサの前に配置することが、代替または補足の解決法になり得る。この解決法は、直線偏光は鏡面反射された時にはその偏光を保持するが散乱させられた時には保持しない、という理解に基づく。従って、画像センサの前の直線偏光子は、鏡面反射光が画像センサに到達するのを防ぎ、その一方で、散乱させられた有用な光の一部を画像センサへ伝えるであろう。]
図面の簡単な説明

[0013] 図１ａは、デジタルペンの一部を模式的に示す図である。
図１ｂは、デジタルペンの一部を模式的に示す図である。
図２は、デジタルペンの構成要素の幾何学的配置を模式的に説明する図である。
図３は、図２に係る構成要素の幾何学的配置を有するデジタルペンの異なる向きについて復号成功率を示す例示的な図である。
図４は、各様に構成された光学系をもつデジタルペンの模式的な部分図である。
図５は、各様に構成された光学系をもつデジタルペンの模式的な部分図である。
図６は、各様に構成された光学系をもつデジタルペンの模式的な部分図である。
図７ａは、図４のデジタルペンの異なる画像取り込み状態について、向きに応じた復号成功率を示す図である。
図７ｂは、図４のデジタルペンの異なる画像取り込み状態について、向きに応じた復号成功率を示す図である。
図８ａは、向きに応じた復号成功率を示し、鏡面反射光に関する問題がどのように回避され得るかを説明する図である。
図８ｂは、向きに応じた復号成功率を示し、鏡面反射光に関する問題がどのように回避され得るかを説明する図である。
図８ｃは、向きに応じた復号成功率を示し、鏡面反射光に関する問題がどのように回避され得るかを説明する図である。
図９は、直線偏光子をもつデジタルペンの一部を模式的に示す図である。
図１０は、鏡面反射光に関する問題を回避するためにデジタルペンがどのように制御され得るかを模式的に示すフローチャートである。
図１１は、例示的なデジタルペンを模式的に示す図である。] 図１０ 図１１ 図１ａ 図１ｂ 図２ 図３ 図４ 図５ 図６ 図７ａ
実施例

[0014] 以下、添付の図面に示すような本発明の例示的な実施の形態について詳細に言及する。可能な際には、全図面を通して、同一の参照番号を用いて同一または類似の部品を指すものとする。まず、鏡面反射に関する問題について、図１ないし図３を参照して説明する。次に、この問題に対する別の解決法について、図４ないし図１１を参照して説明する。] 図１１ 図３ 図４
[0015] 図１ａおよび図１ｂは、基部１０３の表面１０２からペンストロークをデジタル記録するデジタルペン１００の一部を模式的に示す図である。表面にはパターン（図示しない）が設けられてよく、それにより表面上での相対的または絶対的な位置決めが可能になっている。ペン１００は、先端１０４をもつマーキング要素１０７と、先端１０４の近傍の視野内で表面の画像を取り込む画像センサ１０６と少なくとも撮像される表面の領域を照明する光源１０８とを含む光学系とを備える。画像センサ１０６の光軸は２点鎖線で、また光源１０８の光軸は１点鎖線で示してある。ペンの縦軸Ｌは、マーキング要素１０７およびその先端１０４によって規定される。] 図１ａ 図１ｂ
[0016] 先端１０４がペン１００と表面１０２との唯一の接触点となっているので、ペンの向きは、ペンの使用中にかなり変化する可能性がある。ペンの向きは傾斜およびスキューによって規定されてよい。ここで、ペンの傾斜は表面の法線とペンの軸Ｌとの間の角度Θであり、スキューは、ペンの軸Ｌ回りの角度Φである。]
[0017] 光源１０８からの光が表面１０２に到達すると、光の一部は鏡面反射、すなわち入射光と同じ角度で反射され、一部は基部１０３に入り込んで後方に散乱する。これらの相対的な量は当然表面の特性に依存するが、光沢面の場合は、概して鏡面反射光の量がより多くなる。ある種のトナーおよび印刷インクもまた、同様の作用を有する場合がある。光はあらゆる方向へ後方散乱するので、所与の方向に放射される光の量は、表面に入射する光の量と比べて相対的に少ない。鏡面反射光の方向は、図１ａおよび図１ｂにおいて矢印付き１点鎖線で示してある。] 図１ａ 図１ｂ
[0018] ペンの向きによって、画像センサ１０６の光軸が基部１０３からの鏡面反射光の方向と本質的に重なる場合がある。この場合を図１ｂに模式的に示す。基部での光の散乱に伴う損失のため、鏡面反射光の輝度は、画像センサ１０６に到達する散乱光の輝度よりもずっと高くなる。従って、画像はこの明るい鏡面反射光に支配され、それにより、表面に設けられたパターンを見分けることが困難、あるいは不可能にさえなる。] 図１ｂ
[0019] 図３は、電子ペンの異なる向きについての復号成功率を示す図によって鏡面反射の作用を説明する図である。図１ａおよび図１ｂに示したペンと比較すると、この図を得るために用いられたペンは、先端１０４、画像センサ１０６、および光源１０８の幾何学的配置が図２に示すようにわずかに異なっていた。図３の図では、傾斜角は、０°が図の中央、４５°が図の外周にくるようにマッピングされ、スキュー角は、−１８０°から１８０°までマッピングされている。印領域１１００は、復号が不成功または不満足と見なされる向きを示す。印領域１１００以外の向きでは、復号は満足または成功と見なされる。不満足な復号は、デジタルペンを光沢面で使用した時の、光源から画像センサへの光の鏡面反射に起因する。] 図１ａ 図１ｂ 図２ 図３
[0020] 鏡面反射光の作用は、画像センサ（または複数の画像センサ）と光源（または複数の光源）との異なる幾何学的配置によって画像が取り込まれる少なくとも２つの画像取り込み状態の間で調整可能な光学系を、デジタルペンに設けることによって、回避または少なくとも低減することができる。鏡面反射光に関する問題は、異なる画像取り込み状態においては異なるペンの向きで起こるので、画像取り込み状態を選択的に用いることによって問題を回避できる。]
[0021] 図４に模式的に示す第１の実施の形態において、デジタルペン１００は、互いに離れて配置され、かつ画像センサ１０６から離れて配置された２つの光源１０８ａおよび１０８ｂを有してよい。光源１０８ａと画像センサ１０６との組み合わせは、光源１０８ｂと画像センサ１０６との組み合わせと比べて異なる幾何学的配置を有することになるので、鏡面反射に関する問題は、異なる画像取り込み状態においては異なるペンの向きで起こることになる。] 図４
[0022] これらの光源は、光源に関して多様な方法で配置されてよい。実際、これらの光源は、表面の所望の領域を照明でき、かつ照明特性の空間的変化を提供すべく互いにある程度離れて配置される限りにおいて、どのような形で配置されてもよい。図５は、先端１０４、光源１０８ａおよび１０８ｂ、ならびに画像センサ１０６が直線上に並べられ、画像センサの両側に光源が１つずつ配置された実施の形態を例として示すものである。] 図５
[0023] 別の実施の形態において、ペン１００は、２つより多い光源、例えば、図６に示すように３つの光源１０８ａ〜１０８ｃを有してよい。同図では、光源が三角形の各隅に配置され、画像センサ１０６が中ほどに配置されている。この実施の形態では、２つ以上の異なる画像取り込み状態を提供する際に１つ以上の光源が作動させられてよい。] 図６
[0024] さらなる実施の形態において、デジタルペンは、ただ１つの光源と、互いに離れて配置された２つ以上の画像センサとを有してよい。センサは選択的に作動させられてもよく、並行して用いられてもよい。この構成は、例えば図４ないし図６のどれと類似していてもよく、その場合、光源は画像センサと置き換えられ、画像センサは光源と置き換えられる。] 図４ 図６
[0025] さらに別の実施の形態において、２つの異なる画像取り込み状態を提供するために、光源、または画像センサ、または両方が少なくとも２つの異なる位置の間で移動可能であってよい。これらの異なる位置は、構成要素（または複数の構成要素）の角度を変えることにより、またはそれ／それらを撮像軸に対して横方向に動かすことにより、またはこれらの組み合わせにより、実現され得る。]
[0026] 光源（または複数の光源）および／または画像センサ（または複数の画像センサ）は、１つ以上の反射体または屈折媒体を含んでよい。これらを用いて異なる画像取り込み状態を得てよい。さらに詳しくは、異なる画像取り込み状態を提供するために、１つ以上の反射体または屈折媒体が少なくとも２つの異なる位置の間で移動可能であってよい。]
[0027] このように、これら後者の２通りの場合は、ただ１つの光源およびただ１つの画像センサを用いて２つの異なる画像取り込み状態を得てよい。光源を１つと画像センサを１つ用いて２つの画像取り込み状態を提供するさらに別の方法は、より大きな画像センサを有し、センサの異なる部分を用いることによって異なる画像取り込み状態が得られるようにすることであろう。]
[0028] 図７ａおよび図７ｂは、図４の実施の形態に係るデジタルペンについて、図３と同じ傾斜角およびスキュー角のマッピングで、図３と同様の向きに応じた復号成功率の図を示す。図７ａの図は、第１の光源１０８ａが用いられる時の復号成功率を示し、一方、図７ｂの図は、第２の光源１０８ｂが用いられる時の復号成功率を示す。図７ａの領域１１００および図７ｂの領域１１０２は、復号が不満足となる向きを示す。従って、これらの領域１１００および１１０２は、デジタルペンの「盲点」と呼ばれてよい。これらの図から明らかなように、これらの領域はこの例においては重ならないので、光源を選択的に作動させることによって、画像センサに到達する鏡面反射光により復号が失敗する恐れのあるこれらの領域を避けることができる。盲点に重なりがある場合は、盲点の重ならない第３の、またはさらに多くの光源が用いられてよい。] 図３ 図４ 図７ａ 図７ｂ
[0029] 次に、光学系の異なる画像取り込み状態を選択的に有効化または使用する種々の方法について説明する。簡単にするために、図４に示すような、２つの光源１０８ａおよび１０８ｂならびに１つの画像センサ１０６を含む光学系を参照して説明するが、この説明は、異なる画像取り込み状態が、上述したように他の構成要素によって提供される光学系についても、等しく有効である。] 図４
[0030] ある実施の形態において、光源１０８ａおよび１０８ｂが交互にトリガーをかけられて、１画像おきに一方の画像が、第１の光源が表面を照明する間に取り込まれ、他方の画像が、第２の光源が表面を照明する間に取り込まれる。このようにして、少なくとも１つおきの画像が、鏡面反射光からの干渉なしに取り込まれることになる。画像取り込み頻度を増せば、性能は向上するであろう。]
[0031] また、特に、復号成功率対向きの図において盲点が非対称に位置している場合、および／または盲点の大きさが異なる場合には、異なる画像取り込み状態を切り替えるために他の固定スケジュールを用いることも考えられる。]
[0032] 別の実施の形態において、復号成功率が不満足となる復号成功率対向きの図の盲点にペンの向きが接近したり入ったりしたことが検出された時に、一方の光源から他方の光源への切り替えが行えるように、デジタルペン１００の向きが追跡されてもよい。ペンの向きは、デジタルペンの向き検知手段によって検知されてよく、向き検知手段は、各種のジャイロを含んでよく、または表面のパターンの画像から抽出された情報に基づいてペンの向きを計算するように構成された処理ユニットを含んでよい。向きは、例えば、代数モデルを所定のパターンについての知識と共に用いることによって求めることができ、これについては、例えば国際公開第０１／７１６５４（Ａ１）号に記載された通りであり、同出願は引用することにより全体としてここに組み込まれているものとする。検知または計算されたペンの向きは、現在のペンの向きが盲点に接近または進入しているか否かを確定するために、復号成功率が不満足／満足であると判明している予め求められた向きと比較されてよい。異なる画像取り込み状態の１つ以上の盲点に対応するペンの向きの指示は、デジタルペンに格納されてよい。さらに、現在用いられている光源−画像センサ構成で復号が問題となり得る領域にペンの向きが接近するか否かを見出すために、連続する複数の向きの値が用いられてよい。また、現在用いられている画像取り込み状態の盲点にペンの向きが接近するか否かを予測するために、例えばペンの角速度および／またはペンの角加速度の、計算値または測定値が考慮されてもよい。代替となる実施の形態では、検知または計算されたペンの向きは、ペンに格納された参照表の指標として用いられる。この参照表は、光源の切り替えが行われるべきか否か、さらに、光源が２つより多い場合はどの光源に切り替えるべきかを、ペンの各向きについて示すものである。]
[0033] さらに別の実施の形態において、一方の光源から他方の光源への切り替えは、復号成功の評価に基づいてよい。ある画像または所定の数の連続画像について復号が失敗または不満足な結果になったことをデジタルペンが検出したら、現在用いられている光源が停止され、他方の光源が作動させられてよい。また、他方の光源への切り替えをいつ行うかを決定するのに、画質のような他の判断基準が用いられてもよい。]
[0034] ある実施の形態において、１つ以上の取り込み画像からの強度値を、画質の尺度として用いることができる。画像は、例えばより小さな部分すなわちセルへと分割されてよく、最大強度値または平均強度が各セルについて求められてよい。そして、全セルについて統合された結果を用いて、他の画像取り込み状態への切り替えが行われるべきであるほどに画像センサまたはその一部が鏡面反射光によって盲目状態にされているのか否か、が判断されてよい。統合された結果は、例えば、最大強度値が、起こり得る最高の強度値と等しくなっているセルの数であってよい。そして、この統合された結果が、切り替えが行われるべきであるか否かを評価するために、所定の閾値と比較されてよい。国際公開第０３／０３００８２号は、露出制御が、画像の異なる部分からの強度値に基づいてデジタルペンでどのように行われ得るか、について記載している。強度値に基づいて画質を決定する処理は、露出制御処理で計算された中間結果を活用してもよいし、別の処理として行われてもよい。]
[0035] 別の実施の形態において、ペンの光源は、復号に用いられる画像の取り込みの合間に、短く低強度で点灯される。そして、各部分が例えば２画素×２画素とされ得る、センサの１つ以上の小さな部分が読み取られ、読み取られた部分（または複数の部分）の画素の強度値に基づいて、鏡面反射光がセンサに到達するか否か、そしてその結果、画像取り込み状態を切り替える決定に至るか否か、が評価される。本実施の形態に係るこの評価は、非常に短時間に行われ得る。なぜならば、ほんの数画素だけをセンサから読み取ればよいからである。光源の充電も最小限度の影響しか受けず、また電力消費についても同様である。]
[0036] 図８ａないし図８ｃは、図４と同様に２つの光源と１つの画像センサとをもつデジタルペンについて、向きに応じた復号成功率の模式図を示す。傾斜角およびスキュー角のマッピングは図３と同様である。図８ａは、ユーザがデジタルペンを使い始める時に作動させられる光源に当てはまる図を示し、Ｘは、開始時におけるペンの向きを示している。続くペンの動作の間、向きは、矢線１２００で示されたように変化する。向きは、矢線１２００の終端で、鏡面反射光のために復号が問題となる恐れのある盲点１２０１に接近する。この領域への接近は、上記のように、ペンの現在の向きを求めることによって検出されてよい。盲点１２０１の接近が検出されると、第１の光源が停止されると共に第２の光源が作動させられ、これにより、図８ｂに示される復号成功率対向きの図が、当てはまる図となる。向きは、第２の矢線１２０２に従って変化し続ける。向きは、第２の矢線１２０２の終端で、鏡面反射光のために復号が問題となる恐れのある盲点１２０３に接近する。上記と同様に、ペンが第１の光源へと戻り、これにより、図８ａに示される復号成功率対向きの図が再び、当てはまる図となる。ただし、進行過程をよりよく説明するため、ペン使用中のペンの向きの変化を示す矢印を付して、図８ａの図を図８ｃで繰り返す。向きは、復号の問題が見込まれる領域に入ることなく、第３の矢線１２０４に従って変化し続ける。このように光学系を動作させることによって、復号率を向上させることができる。] 図３ 図４ 図８ａ 図８ｂ 図８ｃ
[0037] 代替または補足となる実施の形態によれば、第１の偏光方向の直線偏光で表面を照明し、異なる第２の偏光方向を有する直線偏光子を画像センサの前に配置することによって、鏡面反射光に関する問題を回避または低減してよい。]
[0038] この解決法は、表面で鏡面反射された直線偏光は大部分その直線偏光を保持する、という理解に基づく。逆に、表面を貫いて基部で散乱する光は、その直線偏光を保持しない。従って、第１の偏光子を光源と表面との間の光路に配置し、第２の偏光子を、その偏光方向が第１の偏光子の偏光方向に対して実質的に垂直になるように表面と画像センサとの間の光路に配置することによって、基部で散乱した光だけが画像センサに到達するようになる。こうして、鏡面反射の悪影響を回避できる。この解決法の欠点は、これらの偏光子が光の比較的大部分を吸収してしまう可能性がある、ということかもしれない。これらの損失は、例えばレーザーダイオードなどの、そのもの自体が直線偏光を発する光源を用いることによって低減され得る。この場合、第１の偏光子を用いる必要がない。また、２つ以上の光源を用いて偏光子による光の吸収を補償してもよい。そのような場合は、実質的に同じ偏光方向をもつ直線偏光子をそれらの光源の前に配置すべきである。あるいは、同じ偏光方向の直線偏光を発する光源を用いてもよい。]
[0039] 偏光方向に影響を及ぼす１つ以上の反射体などの構成要素が第１および第２の偏光子の間の光路で用いられる場合は、第２の偏光子の偏光方向を選択する際にそのことが考慮されるべきである。一般に、第２の偏光子の偏光方向は、第１の偏光子によって直線偏光された光の透過強度が最小化されるように選択されるべきである。]
[0040] 図９は、デジタルペン１００の一部を模式的に示す図であり、ここでは、第１の直線偏光子１１８が光源の前に配置され、第２の直線偏光子１１６が画像センサの前に配置される。異なる偏光方向が斜線で示されている。偏光方向は互いに垂直となるのが理想的であるが、鏡面反射光のほとんどを吸収する他の角度配置にこれらの偏光子が置かれてもよい。] 図９
[0041] 上記の実施の形態において、偏光子（または複数の偏光子）は常時使用される。別の実施の形態において、偏光子（または複数の偏光子）は、鏡面反射光による復号の問題が見込まれたり検出されたりした時だけ使用されてよい。この使用法は、２つ以上の光源または画像センサが選択的に使用される時の、上述の使用法に対応するものである。さらに詳しくは、鏡面反射光を吸収する偏光子なしで行われる画像取り込みが第１の画像取り込み状態に相当し、鏡面反射光を吸収する偏光子を用いる画像取り込みが第２の画像取り込み状態に相当することになる。偏光子（または複数の偏光子）は、使用される時に、光路へと移動されてよく、あるいは単に作動させられてよい。]
[0042] 図１０は、図４のデジタルペン１００のような２つの画像取り込み状態をもつデジタルペンの光学系が、鏡面反射光に起因する問題を回避するためにどのように制御され得るか、を模式的に示すフローチャートである。ボックス１０００で示されるように、デジタルペンが作動させられる時は第１の画像取り込み状態が用いられると仮定する。本方法の第１のステップ１０１０では、現在の画像取り込み状態で用いられる光源が点灯されて、先端近傍の表面が照明される。ステップ１０２０では、照明が点灯している間、画像センサにより画像が取り込まれる。続くステップ１０３０では、位置の復号が行われるか、または少なくとも試みられる。位置の復号の結果は、満足となるか、あるいは、失敗するかまたは結果が不確かと見なされて、不満足となり得る。ある実施の形態において、次のステップは、他方の画像取り込み状態への強制的な切り替えとなるステップ１０５０であり、これにより、１画像おきに一方の画像が一方の画像取り込み状態で取り込まれ、他方の画像が他方の画像取り込み状態で取り込まれることになる。別の実施の形態においては、位置復号ステップに続くのは評価ステップ１０４０であり、このステップでは、他方の画像取り込み状態への切り替えが行われるべきか否かが判断される。上に示したように、この評価は、１つ以上の向きの値、復号ステップの結果、評価された画質、またはその他の尺度に基づいてよい。評価ステップの結果、画像取り込み状態は変更されるべきであるとなれば、他方の画像取り込み状態への切り替えがステップ１０５０で行われてからフローがステップ１０１０へ戻り、そうでなければ、フローは直接、ステップ１０１０へ戻って、同じ画像取り込み状態で次の画像が取り込まれる。] 図１０ 図４
[0043] 光学系が画像取り込み状態を２つより多く含む場合、本方法は、切り替えを行う先の特定の画像取り込み状態を選択する選択ステップも含んでよい。]
[0044] 本方法は、その全体がデジタルペン内で行われてよいが、デジタルペンと、ペンと通信する１つ以上の外部ユニットとの間で分割されてもよい。本方法の各ステップは、ソフトウェア、ハードウェア、またはファームウェアによって実装されてよい。]
[0045] 以上、鏡面反射光に起因する復号の問題を低減するように設計された光学系をもつデジタルペン１００について、図４ないし図６、および図９を参照して説明した。すでに指摘したように、このようなデジタルペンは、先端１０４をもつマーキング要素１０７と、互いに離れて配置された１つ以上の画像センサ１０６および１つ以上の光源１０８とを備えてよい。マーキング要素１０７は、デジタルペンが使用される時に表面にマーキングを残すように構成される場合もあるし、されない場合もある。マーキング要素１０７は、目に見えるマーキングを表面に残すように構成される場合は、インクカートリッジ、ローラーボールペン、鉛筆、またはフェルトチップカートリッジ、さらには完全なホワイトボードマーカーもしくはマーカーペンのような構造を含んでよい。マーキング要素１０７は、交換可能であってよい。各画像センサ１０６は、例えばＣＣＤセンサまたはＣＭＯＳセンサなどの、カメラのようなデバイスを含んでよい。各画像センサ１０６は、可視光および／または不可視光に対して感度を有してよい。また、各光源１０８は、選択的に動作可能な１つ以上のＬＥＤまたはレーザーダイオードなどの照明デバイスを含んでよい。デジタルペンは、表面にペンストロークを形成するためにユーザの手によって操作され得る限りにおいて、特別な形状または大きさである必要はない。] 図４ 図６ 図９
[0046] 図１１は、鏡面反射光に起因する問題を低減する光学系が用いられ得る例示的なデジタルペン１００を、さらに詳細に示す図である。このペンは、窓または開口１２２を規定する、ペンの形をしたケースまたは外殻１２０を有しており、窓または開口１２２を通して画像が記録される。] 図１１
[0047] 図１１の例示的なデジタルペン１００の光学系は、２つの照明用光源１０８と、レンズ配列（図示しない）と、光学式画像センサ１０６とを備える。光源１０８は、好適には発光ダイオード（ＬＥＤ）またはレーザーダイオードであるが、窓１２２を通して見える領域の一部を、例えば赤外線などの照明用放射によって選択的に照明する。見えた領域の画像は、レンズ配列によって画像センサ１０６上に投影される。画像センサは、一定の割合または変動する割合で、典型的にはおよそ７０〜１００Ｈｚで画像を取り込むようトリガーをかけられる、二次元のＣＣＤ検出器またはＣＭＯＳ検出器であってよい。] 図１１
[0048] ペンの電源はバッテリー１２４であってよく、バッテリー１２４は、代わりに、主電源（図示しない）によって置き換えることもできるし、補うこともできる。]
[0049] デジタルペン１００には、１つ以上の処理部１２８とメモリブロック１３０とを含む処理モジュール１２６がさらに設けられてよい。処理モジュールは、位置の復号、露出制御、鏡面反射を回避するための光学系の制御のような、ペンの種々の機能を受け持ってよく、ＣＰＵ（「中央処理装置」）のような市販のマイクロプロセッサや、ＤＳＰ（「デジタルシグナルプロセッサ」）によって、または、ＦＰＧＡ（「フィールド・プログラマブル・ゲート・アレイ」）もしくはＡＳＩＣ（「特定用途向け集積回路」）、個別のアナログおよびデジタル部品、またはこれらの適当な組み合わせといった、他のプログラム可能な論理装置によって実装されてよい。メモリブロック１３０は、作業メモリ（例えばＲＡＭ）や、プログラムコードと固定記憶用のメモリ（不揮発性メモリ、例えばフラッシュメモリ）といった、さまざまな型のメモリを備えてよい。関連するペンソフトウェアは、メモリブロック１３０に格納されてよく、デジタルペンの動作のためのペン制御システムを提供するために、処理モジュールによって実行されてよい。]
[0050] ケース１２０は、マーキング要素１０７を保持しており、ユーザは、マーキング要素１０７に蓄えられたマーキングインクで表面に物理的に書き、あるいは描くことができる。マーキング要素１０７のマーキングインクは、デジタルペンにおける光電子工学的な検出との干渉を避けるため、照明用放射に対して透明であることが好適である。マーキング要素１０７には接触センサ１３２が動作可能に接続されて、いつペンが表面に当てられ（ペンダウン）、および／または表面から持ち上げられるか（ペンアップ）を検出するようになっていてよく、また、随意に、押し当て力を求めることができるようになっていてよい。ペンストロークは、ペンダウンとその次のペンアップとによって規定されてよい。光学系は、接触センサ１３２の出力に基づいて、ペンダウンとペンアップとの間、画像を取り込むよう処理モジュールによって制御されてよい。そして、処理モジュール１２６は、画像データを処理して、符号化パターンの撮像された部分によって符号化されていた位置を、計算してよい。そのような処理は、例えば、本出願人の先の公開文献である米国特許出願公開第２００３／００５３６９９号明細書、米国特許出願公開第２００３／０１８９６６４号明細書、米国特許出願公開第２００３／０１１８２３３号明細書、米国特許出願公開第２００２／００４４１３８号明細書、米国特許第６，６６７，６９５号明細書、米国特許第６，７３２，９２７号明細書、米国特許出願公開第２００３／０１２２８５５号明細書、米国特許出願公開第２００３／０１２８１９４号明細書、およびこれらの明細書中の引用文献に従って実装されてよい。その結果として得られる時間的につながった位置が、ペンストロークのデジタル表現を形成する。]
[0051] 処理モジュール１２６は、鏡面反射光に関する問題を回避するため、上述したように画像取り込み状態を変更するようさらに光学系を制御してよい。また、異なる画像取り込み状態への切り替えが行われるべきか否かを確定することを狙いとした何らかの評価を行ってもよい。そのような評価のために、ペンの向きが求められてよい。そのため、デジタルペンには向き検知手段（図示しない）が設けられてよく、その場合、処理モジュールは向き検知手段から向きの値（傾斜および／またはスキュー）を受け取る。別の実施の形態では、処理モジュール１２６は、画像の内容を用いて向きの値を計算するように構成されてよい。]
[0052] デジタルペンは、独立したデバイスであってもよいし、記録されたデータを外部デバイスへ伝えるように意図されたデバイスであってもよい。後者の場合、デジタルペンは、コンピュータ、移動電話、ＰＤＡ、ネットワークサーバ等といった近接または遠隔の装置へデータを送信または提示する通信インターフェース１３４をさらに備えてよい。従って、通信インターフェース１３４は、有線もしくは無線の短距離通信（例えばＵＳＢ、ＲＳ２３２、無線伝送、赤外線伝送、超音波伝送、誘導結合など）のための構成要素、および／または、典型的にはコンピュータ、電話、もしくは衛星通信ネットワークを介した、有線もしくは無線の遠隔通信のための構成要素を提供してよい。]
[0053] ペンはまた、ユーザフィードバックのためにペン制御システムによって選択的に起動され得るＭＭＩ（マンマシンインターフェース）を含んでもよい。ＭＭＩは、ディスプレイ、表示ランプ、バイブレータ、スピーカ等を含んでよい。]
[0054] さらに、ペンは、ペンの起動および／または制御を可能にするための１以上のボタンを含んでよい。]
[0055] デジタルペンは、記録された情報をほぼリアルタイムで外部デバイスへ送るように構成されてよく、または、その情報を送るようにユーザによってトリガーをかけられるまでその情報を格納するように構成されてよい。ある実施の形態において、ペンの機能は、画像の取り込みと、外部デバイスへの画像情報の送信とに限定されてよい。別の実施の形態では、デジタルペンは、画像から位置情報を復号し、復号された位置に応じて特定の動作を行ってよい。]
[0056] 別の実施の形態において、デジタルペンは、ホワイトボード上で使用されて、ホワイトボード上に描かれたペンストロークをデジタル的に記録するように構成されてよい。その場合、マーキング要素は、ケース内に挿入され得る完全なホワイトボードマーカーであってよく、ケーシングは、その目的のために取り外し可能であってよい。この実施の形態では、接触センサは、ケースの上端に設けられた機械的なスイッチであってよく、その場合、デジタルペンがホワイトボード上で使用される時にホワイトボードマーカーがスイッチを押すように接触センサが設けられる。デジタルペンは、ホワイトボード上に痕跡を残す場合もあれば、残さない場合もある。]
[0057] デジタルペンは、絶対位置を位置決めするペンである必要はなく、代わりに、ペンストロークをデジタル的に記録するために連続的に取り込まれた画像の内容を整合することによってペンの相対位置を求めるように構成されてもよい。また、ペンは、絶対位置の位置決めと相対位置の位置決めとの組み合わせを考慮してもよい。]
[0058] さらに別の実施の形態において、デジタルペンは、いわゆるポイント・アンド・クリック式のペンであり、ペンストロークの記録には用いられず、ある動作を開始するため、または画像の内容に基づくある種のフィードバックを得るためにパターン形成された面を指し示すことだけに用いられる。ポイント・アンド・クリック式のペンが絶対位置符号化パターン上で用いられる場合、撮像されたパターン部分から復号される絶対位置は、例えば、特定の動作を開始せよ、または特定の種類のフィードバックを与えよ、というデジタルペンに対する命令を表すことができる。]
[0059] デジタルペンが表面上の相対位置または絶対位置を求めることができるようにするために、さまざまなパターンが表面で用いられてよい。パターンは、多少複雑な記号で構成されてよく、１つ以上の記号が位置を規定してよい。ある種類のパターンでは、所与の大きさを有するパターン各部が一意であってよく、それにより一意の絶対位置を規定してよい。あるいは、それぞれが位置を規定するパターン部分が、表面にタイル状に並べられてよい。パターン部分は、用途に応じて、任意に繰り返されてよい。また、パターンは、位置符号化パターンである必要はない。代わりに、例えば無作為化されたパターンなどの非位置符号化パターンであってよい。これは、デジタルペンが、連続的に取り込まれた画像を整合することによって自身の相対位置を求めるのに用いるものである。]
[0060] 米国特許第６，６６３，００８号明細書および米国特許第６，６６７，６９５号明細書は、共に引用することによりここに組み込まれているものとするが、これらは、手書きをデジタル記録するデジタルペンによって用いられ得る、最初に挙げたタイプの位置符号化パターンを開示している。より詳しくは、上記特許に記載されたパターンは、同じ大きさおよび形状のドットで構成される。例えば６ドット×６ドットなどの、所定数のドットの任意の組が一意の位置を規定してよい。上記特許に記載されているように、各ドットは、仮想正方形グリッド内のグリッド点から４つの所定の方向のうちの１方向にずらされることによって、取り得る４つの値のうちの１つの値を符号化してよい。個々のドットのずらし方向は、パターンが生成される際に数学的なアルゴリズムに従って計算されてよい。理論的には、上記パラメータを有するパターンでは、４３６通りの異なる位置が符号化され得る。パターンは、およそ０．３ｍｍのグリッド点間称呼間隔で実装されてよく、これによってパターンは、手書きを高い解像度で記録するのに適したものとなる。このパターン配列により、パターン全体で、ヨーロッパとアジアとを合わせた表面積におおむね等しい表面積をカバーできる。従って、図１ａおよび図１ｂの表面１０２のような表面で手書きをデジタル記録できるようにするには、パターン全体のほんの少しの割合または極めて小さな部分を表面に設ければ十分である。] 図１ａ 図１ｂ
[0061] パターンは、印刷用紙や半透明材料に印刷されてもよいし、パターンを付けたり表示したりできる任意の表面または材料に出現するようにされてもよい。例えば、パターンは、テレビ画面に、またはコンピュータ画面に、またはプロジェクタを介して、または他の表示装置を用いるなどして、動的に表示されてよい。]
[0062] ずらされたドットの代替手段として、手書きの記録を可能にするパターンは、異なる大きさのドット、直角、スラッシュ、文字、色の模様、または他の印刷された形状もしくは識別印のうちの、１つ以上を備えてよい。]
[0063] 上述した本発明を使用できる可能性のある他の位置符号化パターンおよびデジタルペンの例は、例えば米国特許第６，７５２，３１７号明細書、国際公開第９９／５０７８７号、米国特許第５，６６１，５０６号明細書、米国特許第５，６５２，４１２号明細書、米国特許第５，８５２，４３４号明細書、米国特許第５，４４２，１４７号明細書、および国際公開第００／２５２９３号に見られる。]

权利要求:

請求項1
パターン形成された面を用いて情報をデジタル記録するデジタルペンであって、前記デジタルペンが前記パターン形成された面上で動作させられる間に前記パターン形成された面の画像を取り込む少なくとも１つのセンサと、前記少なくとも１つのセンサによって画像が取り込まれる時に前記パターン形成された面を照明する少なくとも１つの光源と、を有する光学系を備え、前記光学系が、前記少なくとも１つのセンサと前記少なくとも１つの光源との異なる幾何学的配置で画像が取り込まれる少なくとも２つの画像取り込み状態の間で調整可能であることを特徴とするデジタルペン。
請求項2
前記光学系が、少なくとも２つの光源を備え、前記デジタルペンが、第１および第２の画像取り込み状態において異なる光源を作動させるように構成される、請求項１に記載のデジタルペン。
請求項3
前記光学系が、少なくとも２つのセンサを備え、前記デジタルペンが、第１および第２の画像取り込み状態において異なる画像センサから画像を取り出すように構成される、請求項１に記載のデジタルペン。
請求項4
前記少なくとも１つのセンサと前記少なくとも１つの光源とのうちの少なくとも一方が、第１および第２の位置の間で移動可能である、請求項１に記載のデジタルペン。
請求項5
前記デジタルペンが、所定のスケジュールに従って前記少なくとも２つの画像取り込み状態を切り替えるように構成される、請求項１〜４のいずれか１項に記載のデジタルペン。
請求項6
前記デジタルペンが、前記ペンの動作に応じて選択的に前記画像取り込み状態を変更するように構成される、請求項１〜４のいずれか１項に記載のデジタルペン。
請求項7
前記デジタルペンの向きを求める手段を備え、前記デジタルペンが、前記デジタルペンの向きに基づいて選択的に前記画像取り込み状態を変更するように構成される、請求項６に記載のデジタルペン。
請求項8
前記デジタルペンが、前記面上の絶対位置符号化パターンを用いてペンストロークを電子的に記録するように構成される、請求項１〜７のいずれか１項に記載のデジタルペン。
請求項9
パターン形成された面を用いて情報をデジタル記録するデジタルペンであって、前記デジタルペンが前記パターン形成された面上で動作させられる間に前記パターン形成された面の画像を取り込む少なくとも１つのセンサと、前記少なくとも１つのセンサによって画像が取り込まれる時に前記パターン形成された面を照明する少なくとも１つの光源と、を有する光学系を備え、前記デジタルペンが、第１の偏光方向を有する直線偏光で前記パターン形成された面を照明するように構成され、異なる第２の偏光方向を有する直線偏光子が、前記少なくとも１つの画像センサの前に設けられることを特徴とするデジタルペン。
請求項10
第１の偏光方向を有する前記直線偏光を提供するために前記少なくとも１つの光源の前に別の直線偏光子を備える、請求項９に記載のデジタルペン。
請求項11
前記少なくとも１つの光源が、直線偏光を発する光源である、請求項９または１０に記載のデジタルペン。
請求項12
パターン形成された面とデジタルペンとを用いて情報をデジタル記録する方法であって、前記デジタルペンが、前記デジタルペンが前記パターン形成された面上で動作させられる間に前記パターン形成された面の画像を取り込む少なくとも１つのセンサと、前記少なくとも１つのセンサによって画像が取り込まれる時に前記パターン形成された面を照明する少なくとも１つの光源と、を有する光学系を備え、前記方法は、前記少なくとも１つの光源と前記少なくとも１つのセンサとの第１の幾何学的配置を用いて第１の画像取り込み状態で第１の画像を取り込むことと、前記少なくとも１つの光源と前記少なくとも１つのセンサとの第２の幾何学的配置を用いて第２の画像取り込み状態で第２の画像を取り込むことと、を含むことを特徴とする方法。
請求項13
所定のスケジュールに従って前記画像取り込み状態を切り替えることをさらに含む、請求項１２に記載の方法。
請求項14
前記ペンの動作に応じて前記画像取り込み状態を選択的に切り替えることをさらに含む、請求項１２に記載の方法。
請求項15
前記ペンの向きに応じて前記画像取り込み状態を選択的に切り替えることをさらに含む、請求項１２または１４に記載の方法。
請求項16
絶対位置符号化パターンにより与えられる表面の一連の画像を取り込むことにより、前記デジタルペンを用いてペンストロークを記録することと、前記画像中の前記絶対位置符号化パターンから位置を復号することと、をさらに含む、請求項１２〜１５のいずれか１項に記載の方法。